#RL post-training

2 篇

Sharpening Tax in Post-Training

后训练中的锐化税：基座与后训练LLM智能体的覆盖率权衡

🧭 LLM Agent RL后训练 · 测试时扩展诊断 ★ 深度解读

Meta Superintelligence Labs · University of Wisconsin–Madison · NYU · Stanford University

提出Sharpening Tax度量后训练对测试时覆盖率的损失，并给出PTGS自适应温度采样以同时提升pass@1与pass@K

📌 工作参考价值（4 点）

评估Agent或对话式购物策略时，除了pass@1，应监控pass@K与Sharpening Tax；若业务需要高覆盖/多样性（如商品候选生成、长尾query召回），后训练模型可能过度牺牲覆盖，可保留base模型+轻量harness做多次采样。
在用PPO/GRPO训练推荐Agent或生成式推荐策略时，可引入PTGS：为每个prompt维护Beta成功统计，按难度自适应采样温度，硬任务升温、易任务降温；无需改RL算法，可降低熵崩塌，兼顾单次准确率与长尾覆盖。
仅用8个rollout即可低成本估计Sharpening Tax，相关性ρ=0.85预测更大预算下的tax；可用于上线前诊断或做模型路由：后训练模型处理高置信任务，base模型处理需要探索/候选多样性的任务。
RL对齐后的双峰化会使中间难度任务消失，需评估是否把可救回的长尾任务推向永久失败；对电商/广告中的个性化Agent，应关注always fail比例，PTGS可缓解该问题。

Agent | 2026-09-30 | HF Daily | score 8/10

面向混合 RL 推理负载的 KV 缓存感知准入调度

🧭 LLM RL 混合负载推理调度优化 ★ 深度解读

Nanjing University · StepFun

路由层依据工作负载类型与 KV block-time 需求动态控制 session 准入，避免 KV 缓存击穿，吞吐提升超 50%。

📌 工作参考价值（4 点）

在需要大规模 LLM 推理的业务（如商品问答、推荐理由生成、多轮 Agent 导购）中，可借鉴 MISA-T 的按工作负载类型分配 KV 保护额度：为短输入长输出的 RLVR 型、均衡 RLHF 型、长上下文多轮 Agent 型请求分别设定 session 准入上限，防止某个类型挤占缓存导致全局命中率崩塌。
KV block-time 估算方法可直接复用：用 session 平均块数 × 类级驻留时间而非单纯 kv 块数衡量资源需求，尤其适用于含工具调用、等待外部 API 的 Agent 场景，能更准确地预留缓存空间。
自适应 overload 收缩机制可替代静态并发数调优：根据近端缓存命中率下降与等待队列长度自动下调准入上限，避免手动扫参；在模型、序列长度或混合比例变化时无需重新调节。
实验表明 KV offload 与路由层准入控制完全兼容（开启 CPU 备份后 GPU KV 利用率更高且吞吐提升 35.6%），对于采用分级缓存（HBM/CPU）的部署可直接叠加，无需改动调度逻辑。

LLM | 2026-08-11 | cs.LG | score 8/10